- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI技术探索和应用
浅析SORA视频生成原理
介绍 官网：https://openai.com/sora OpenAI发布了视频生成模型Sora，最大的Sora模型能够生成一分钟的高保真视频。 同时OpenAI称，可扩展的视频生成模型，是构建物理世界通用模拟器的一条可能的路径。 Sora能够生成横屏1920*1080视频，竖屏1080*1920视频，以及之间的所有内容。 这使得Sora可以兼容不同的视频播放设备，根据特定的纵横比来生成视频内容，这也会大大影响视频创作领域，包括电影制作，电视内容，自媒体等。 除了文生视频，也可以用其他输入提示 Sora，例如预先存在的图像或视频。此功能使 Sora 能够执行各种图像和视频编辑任务——创建完美循环的视频、为静态图像制作动画、在时间上向前或向后扩展视频等。 ，可以很容易改变原视频的风格； 视频连结/过渡/转场：可以将两个视频巧妙地融合到一起，使用Sora在两个输入视频之间逐渐进行插值，从而在具有完全不同主题和场景构成的视频之间创建无缝过渡； 文生图：图像可以视为单帧的视频
1.6K20编辑于 2024-03-14 - 来自专栏玩转全栈
弥补Sora制作视频的局限
在AI视频创作领域，OpenAI的Sora为内容创作者、教育工作者、市场营销人员和企业提供了前所未有的便利和效率，Sora作为一个革命性的工具，已经大大降低了视频制作的门槛，但对于追求高质量视频输出的程序员来说 本文旨在探索如何围绕Sora构建一个生态系统，通过技术手段弥补其存在的限制，实现更加专业的视频创作。 Sora的现状和挑战Sora能够根据文本提示生成短视频，其利用了OpenAI的先进AI技术，为非视频专业人士提供了创作工具。 举个例子，在生成视频的前序流程，让prompt滚一轮，这样交给Sora的创作脚本会更加专业一些。 通过这些思路，开发者不仅可以提高Sora视频的质量，还能够为Sora生态系统贡献自己的力量，促进AI视频创作技术的发展。
86910编辑于 2024-02-22 Sora——最强文本视频生成模型！
引言以ChatGPT闻名海外的OPENAI，最近推出首个**文本视频生成模型——Sora**，其效果极其流畅程度令人叹为观止！ Sora根据提示词，生成60s镜头，不仅主要人物动作流畅，切近镜头时还可以看到主角的脸上皮肤细节，后面的场景还可以自如切换。 这个20s的视频首先它很有光影感，而且汽车影子是随着汽车移动的，但是个人感觉车扬起来的土差点意思。Sora凭什么这么强大呢？ 根据OpenAI给出的技术报告，Sora的技术特色：将视觉数据转换为Patch视频压缩网络时空潜在补丁转换变换器以生成视频变化的持续时间、分辨率、宽高比对语言的理解图像、视频、文本均可作为提示词视频拼接图像生成能力涌现的模拟能力就像 结论目前，Sora的对物理世界的模拟还在初级阶段，感觉已经很不可思议了！但是，对于很多人说，未来可能是输入小说直接生成对应的视频图像我仍然持保留态度。
40000编辑于 2024-03-04全面对标Sora！中国首个Sora级视频大模型Vidu亮相
首先，在时长方面，Vidu和Sora均支持生成长达16秒的高质量视频。 然后，在视频效果方面，Vidu实现了显著提升，下面简要说明：①模拟真实物理世界：Vidu能够生成细节复杂的场景，且符合真实的物理规律，例如合理的光影效果、细腻的人物表情等；②具有丰富想象力：Vidu能够生成真实世界不存在的虚构画面 ，创造出具有深度和复杂性的超现实主义内容，例如“画室里的一艘船正在海浪中驶向镜头”这样的场景；③多镜头语言：Vidu能够生成复杂的动态镜头，不再局限于简单的推、拉、移等固定镜头，而是能够围绕统一主体在一段画面里就实现远景 、近景、中景、特写等不同镜头的切换，包括能直接生成长镜头、追焦、转场等效果，给视频注入镜头语言；④时空一致性高：Vidu生成的视频能够在16秒的时长上保持连贯流畅，随着镜头的移动，人物和场景在时间、空间中能够保持一致 Vidu横空出世：文生视频能力比肩Sora？-雷科技.
1.6K10编辑于 2024-05-14- 来自专栏CSDN
Sora - 探索AI视频模型的无限可能
Sora - 探索AI视频模型的无限可能 近日，OpenAI发布首个文生视频模型——Sora。 使用者只需用文字描述一个场景，Sora便能够准确地理解指令中所表达的需求，生成画面生动、细节拉满、时长可达一分钟的视频大片。 那么2024年开年AI继续为我们带来了文生视频模型 Sora，当我们在文生图时，就在想什么时候可以文生视频，现在文生视频模型来了 Sora将如何改变视频内容创作领域？ 那么Sora的出现，对于视频内容创作领域，比如短视频、MV、特效制作、视频拍摄等领域都会带来利好。 目前AI带来的文生视频模型Sora可以生成长达60秒的高清视频，对于一些MV或者是特效制作方面，可以说带来了视频内容创作的巨大改变，那么未来AI在内容创作领域也许会有结合文本+图片的视频内容的生成，或者是可以指定视频内容生成中参与元素以及人物等的新突破
23110编辑于 2024-03-29 - 来自专栏CSDNToQQCode
Sora - 探索AI视频模型的无限可能
AI视频模型Sora是什么 AI视频模型Sora是一个基于深度学习和计算机视觉技术的视频模型，它能够自动识别和分析视频中的各种元素，包括人脸、物体、场景等，并生成相应的文本描述。 可扩展性：Sora模型具有良好的可扩展性，可以适应不同场景和需求，为未来的视频分析应用提供了广阔的发展空间。 AI视频模型Sora会有哪些应用场景 智能监控：Sora可以用于智能监控系统，自动识别和分析视频内容，例如检测异常行为、人脸识别、目标跟踪等。 视频分析：Sora可以用于各种视频分析任务，如事件检测、物体跟踪、场景分割等。这些任务通常需要大量的手动标记数据，以训练和优化视频模型。使用Sora可以减少人工干预，提高自动化程度。 场景适应能力：Sora目前主要针对特定场景进行开发和优化，未来可能会开发出更多适用于不同场景的版本，如体育赛事、医疗影像、安防监控等。
47610编辑于 2024-02-24 - 来自专栏AI算法能力提高班
Sora | 最强AI视频生成大模型
蓝色高亮部分描述了 Sora 生成的元素，如展现一位时尚女性的形象；而黄色部分则强调了模型如何解释动作、场景和角色造型，展示了一个精心构思的文本提示是如何被转化为一段生动、充满动感的视频故事的。 通过这种方式，Sora不仅能够捕捉静态场景的细节，还能够处理和表现复杂的动态交互，从而在视频生成领域提供了一种新的创作工具。 随着视频模型技术的不断发展，我们可能会看到更加逼真和复杂的虚拟场景被创造出来，从而推动娱乐产业的创新。 05 图像生成能力 Sora模型不仅能够生成视频内容，还具备生成图像的能力。 推动教育创新：Sora可以将教学内容从文本转换为视频，提高学生的学习效率和参与度。它为教育领域提供了一种新的、动态的教学辅助工具，适用于各种学科和教学场景。 02 应用场景 Sora模型在多个领域的应用前景和影响如下： 电影产业： Sora能够通过文本输入自动生成电影风格视频，这标志着电影制作新时代的到来，降低了电影制作的门槛，使得更多人有机会参与电影创作。
2.5K10编辑于 2024-03-13 - 来自专栏用户10781703的专栏
Sora - 探索AI视频模型的无限可能
让我们将一起探讨Sora的技术特点、应用场景以及对未来创作方式的深远影响。 方向二：应用场景 Sora在不同领域的应用场景与革命性变革 影视制作 想象一下，一个电影制片人只需通过描述他们的想法、角色、场景和情感，Sora就能将这些创意迅速转化为生动的视频片段。 游戏设计 Sora可以为游戏设计师提供丰富的场景、角色和动画生成能力，使得游戏设计更加灵活和高效。设计师可以通过文本描述他们的创意和想法，让Sora将这些想法迅速转化为游戏内容。 通过Sora，他能够轻松生成游戏中的森林、山脉、河流等场景，以及各种各样的角色和动物。这使得他能够迅速完成游戏原型，吸引了大量的投资和合作伙伴。 这种能力使得Sora可以根据用户的兴趣和偏好，为其量身打造独特的视频体验。无论是用户想要观看的特定场景、角色行为还是情感表达，Sora都能够精准地满足用户需求，从而提升用户的满意度和参与度。
74510编辑于 2024-02-24 Sora能引爆生成视频新纪元吗？
Sora可以将文字提示词转化为视频，OpenAI发布的视频效果令人大受震撼，带来了AIGC的又一个高光时刻。2月22日，腾讯研究院AI&Society举办了Sora生成式视频新纪元线上圆桌。 Sora的成功是因为OpenAI的算力和对高质量数据的把握，以及GPT技术累积。王喆 特赞联合创始人：Sora的商业化速度可能被低估，预计在TO B场景中会快速找到应用。 我觉得Sora和API出来之后，必然会在三个月内在TO B的场景里找到某一种或者是多种应用场景。我为什么这么说呢？ 那尾部呢就是长尾，现在在短视频看到的各种不管是PPT类的视频还是混剪的视频，其实大家已经把这个视频的成本打到非常低了，低到几块钱人民币一条，这个时候你还有可能会发现Sora来做这个时长，我还不知道Sora 当Sora的API开放了，当全球的开发者加入这个平台的时候，大家会用创造力让Sora去做出各种各样的事情，甚至很多程度在很多方面在我们的想象之外。包括像刚才讲的场景里面，过去是说我能看什么？
50321编辑于 2024-03-19- 来自专栏智能大数据分析
Sora - 探索AI视频模型的无限可能
让我们将一起探讨Sora的技术特点、应用场景以及对未来创作方式的深远影响。 4、连接视频 可以使用 Sora 连接两个输入视频，在具有完全不同主题和场景组成的视频之间实现无缝过渡。 3D一致 Sora可以生成动态运动的视频，随着相机的移动和旋转，人和场景元素在三维空间中一致移动。 四、技术特点 （一）多帧预测生成 Sora是一种扩散模型，具备从噪声中生成完整视频的能力，它生成的视频一开始看起来像静态噪音，通过多个步骤逐渐去除噪声后，视频也从最初的随机像素转化为清晰的图像场景 五、应用场景 场景一：广告制作 像下年这种酷炫的广告图（视频）以后只需要有创意，借用工具生成就可以了，能显著减少拍摄和后期制作成本。
1.6K10编辑于 2025-01-22 - 来自专栏AI学习笔记
视频生成轻量化：Sora架构TensorRT加速
从短视频平台上的创意分享，到在线视频会议中的实时交流，再到智能视频监控系统中的场景分析，视频数据的生成、处理与传输需求呈现出指数级增长态势。 然而，这些丰富的视频应用场景背后，是对高效视频生成技术的巨大渴求，尤其是在硬件资源有限的移动设备或边缘计算场景中，如何实现快速、流畅且高质量的视频生成，一直是困扰技术人员的难题。 Sora架构，作为一种新兴的轻量化视频生成解决方案，犹如一缕曙光穿透云层，为视频生成领域带来了新的希望。 这些虚拟场景视频需涵盖各种复杂路况、天气条件与交通参与者行为，且为保障算法训练效率，场景生成速度越快越好。 落地成效展示 ：采用 Sora 架构与 TensorRT 联合方案的场景生成系统，将单个驾驶场景视频生成时间从传统方法的 2 分钟缩短至 18 秒，每天可生成场景视频数量提升 6.7 倍。
67510编辑于 2025-07-10 - 来自专栏一个程序猿的异常
Sora AI：如何生成逼真视频，推动创意界限
总的来说，OpenAI Sora是一个强大的视频生成模型，它能够生成高品质、连贯流畅的视频，支持多镜头切换和复杂场景的生成，同时具备良好的安全性和可靠性。 理解并表现场景中的光影关系：Sora能够很好地展现场景中的光影关系，这意味着它能够模拟光线在不同物体上的反射和折射，以及阴影的形成。这种对光影细节的处理，使得生成的画面更加生动和真实。 镜头的丝滑可变：Sora还可以在单个视频中创建多个镜头，这一点对于处理复杂的物理场景非常重要。通过创建不同的镜头，Sora能够更精细地控制场景中的视觉元素，从而更好地展示物理遮挡和碰撞关系。 最后，Sora涵盖了广泛的主题，包括人物和动物、风景、城市场景、花园以及水下场景等，根据用户的要求提供多样化的内容。 OpenAI Sora的视频拼贴功能是如何实现的，与其他视频拼贴技术相比有何优势？ OpenAI Sora的视频拼贴功能通过一次生成多个视频，然后将这些视频拼接在一起来实现。
64010编辑于 2024-02-27 - 来自专栏FreeBuf
Sora引发安全新挑战，视频还能相信吗？
据公司介绍，Sora使用Transformer架构，可根据文本指令创建近似现实且富有想象力的场景，生成多种风格、不同画幅、最长为一分钟的高清视频。 根据官方释出的样例，由Sora生成的视频近乎突破了人类肉眼识别真假事物的极限，除去一些可通过后期算法优化的逻辑性错误，在场景的还原程度上已经高度接近现实中的实拍画面。 Sora 根据文本提示生成了一段以这位女性为主角的视频 Sora加剧“深度伪造”忧虑 严格来说，深度伪造并非AI时代的专属词汇，从早年间看似拙劣的换脸视频开始，深度伪造作为一项快速发展的技术，也在为人类敲响警钟 这样的场景，正是基于深度伪造对人类认知造成的紊乱。加利福尼亚大学伯克利分校信息学院副院长法里德甚至表示：“当新闻、图像、音频、视频——任何事情都可以伪造时，那么在那个世界里，就没有什么是真实的。” 这并非杞人忧天的说法，虽然Sora生成的缺陷视频仍被一些媒体放大当作“乐子“，但不可否认，Sora的出现让人们意识到AI深度伪造视频进步飞快，已经接近了真假难辨的程度。
36610编辑于 2024-03-07 - 来自专栏JVMGC
7.4K Star文生视频Sora开源了?
Sora 前段时间OpenAI发布了文生视频工具Sora火爆全球。Sora是一个能以文本描述生成视频的人工智能模型，由美国人工智能研究机构OpenAI开发。 Open-Sora介绍 Open-Sora项目是一个致力于提供高质量视频生成技术并使其普及的开源计划。 文生视频效果展示 向日葵田充满活力的美丽。向日葵排列整齐，营造出秩序感和对称感。 宁静的水下场景，海龟在珊瑚礁中游动。乌龟，有着绿棕色的壳 森林地区宁静的夜景。[...] 使用场景 Open-Sora适用于那些希望使用先进视频生成技术来创建高质量视频内容的开发者和内容创作者。 通过Open-Sora，用户可以探索不同的视频生成技术，从而提高视频创作的效率和质量，让内容创作变得更加有趣。 开源地址:https://github.com/hpcaitech/Open-Sora
55810编辑于 2024-03-25 - 来自专栏玩转全栈
sora是视频创作相关领域的坟墓吗？
它通过逐步去除视频中的噪声来生成清晰的图像场景。具体来说，Sora首先从一个看似静态噪声的视频片段开始，然后通过多个步骤逐步移除这些噪声，最终将视频从最初的随机像素转化为清晰的图像场景。 它从一个看似静态噪声的视频片段开始，通过多个步骤逐步移除这些噪声，最终将视频从最初的随机像素转化为清晰的图像场景。 影视制作：Sora可以用于生成高质量的特效和动画，提供更快速和便捷的影视制作工具。游戏开发：Sora可以用于生成游戏中的动态场景和角色动画，提升游戏的视觉效果和交互体验。 虚拟现实和增强现实：Sora可以用于生成虚拟现实和增强现实应用中的场景和对象，增强用户的沉浸感和交互体验。广告和营销：Sora可以用于生成各种类型的广告和营销内容，提供更具吸引力和创意的视觉效果。 教育和培训：Sora可以用于生成教育和培训材料中的动画和模拟场景，提供更生动和互动的学习体验。怎么说呢，凡事要抓紧，慢半拍就慢半年，慢半年就等于死在了这个赛道上。
87051编辑于 2024-02-20 - 来自专栏腾讯技术工程官方号的专栏
Sora的前世今生：从文生图到文生视频
作者：monychen 在2月16日凌晨，OpenAI首款文本生成视频模型Sora正式亮相，迅速在网络上引发广泛关注。 为了使技术原理更加通俗易懂，本文将从文本生成图像到文本生成视频的技术演进角度进行剖析，解读从AE、VAE、DDPM、LDM到DiT和Sora的技术发展路线，旨在为读者提供一条清晰简明的技术进化路径。 Sora：视频生成的新纪元 先抛出我的观点：Sora就是改进的DiT。 用的就是 CoCa 的方法，也就是同时考虑对比损失和LM损失 模型推理策略 官方展示Sora的应用有很多，比如文生视频、图生视频、视频反推、视频编辑、视频融合等。 不知道大家有没有注意到，Sora还提到了它除了文生视频，也支持文生图，这里其实透露出了一种统一的味道。
1.8K31编辑于 2024-02-23 - 来自专栏Goboy
Sora ：新一代文本转视频工具
视频延续： Sora 可以扩展现有视频，使场景和叙事无缝衔接，提高讲故事的可能性。 该技术能够自动生成详尽且准确的视频字幕，通过对现有视频资源的深度理解和诠释，有效增强了系统的语义理解能力及跨模态学习效果，使得 Sora AI 在动画静态图像生成、连续视频创作乃至视频后期编辑等诸多场景下均展现出卓越的表现 在视频生成场景中，Transformer帮助模型分析并处理连续视频帧间的时空关系，从而保证生成的视频具有流畅的动作和一致的视觉风格。 这让Sora在生成视频时，能够理解复杂的场景动态和语义，比如根据文本描述准确地模拟花朵绽放的过程或者根据光照变化调整视频内容。 Sora 的局限性 尽管Sora模型在视频生成领域展现了惊人的能力，但它仍然存在一些不可忽视的局限性。首先，在模拟复杂场景，尤其是涉及精细物理交互和动态变化时，Sora的精确度有待提高。
1K11编辑于 2024-04-16 - 来自专栏新智元
超越Sora极限，120秒超长AI视频模型诞生！
Sora一出，文生视频的在长度这个指标上就卷的没边了。 从Pika和Runway的4秒，到VideoPoet的理论无限长，各个团队都在通过各种不同的技术路径不断延长视频生成长度的上限。 ，防止随着时间推移而遗忘开头的场景； - 一种随机混合技术，使得即使是无限长的视频也能保持一致性，避免了视频片段之间的不协调。 1200帧，2分钟 可以看到，在两分钟的视频中场景的动态效果很好，虽然在细微材质上还是有一些粗糙和畸变，但是整体的运动幅度基本上已经达到了Sora的水准。 外观保存模块 自回归视频生成器通常会遗忘初始对象和场景特征，从而导致严重的外观变化。 这有助于在各代视频块中保持场景和物体特征（见下图6）。
48710编辑于 2024-03-27 - 来自专栏Goboy
探索OpenAI Sora：开启文字到视频的新纪元
Sora 于 2024 年 2 月推出，凭借其仅凭文本提示生成逼真和富有想象力的场景的能力吸引了全世界的注意力。 Sora是一个人工智能模型，它采用了先进的扩散模型架构，使其能够将文字转化为逼真的视频画面。能够生成长达一分钟的视频，呈现高度详细的场景、复杂的摄像机运动，以及富有情感的多个角色。 例如，模型需要知道场景中有哪些对象和角色，它们的外观、移动方式、互动方式以及它们如何受环境影响。Sora基于深度神经网络，这是一种可以从数据中学习并执行复杂任务的机器学习模型。 Sora还可以帮助观众发现新的有趣内容，根据他们的喜好和兴趣。 增强现有视频的新元素，如添加特效、更改背景或插入新角色。Sora可以帮助视频编辑和制作人改进和修改视频，并增加更多的变化和创意。 Sora还可以帮助观众与他们的朋友和粉丝联系和互动，根据他们的喜欢和评论。 从文本描述中可视化想法、场景和梦想，如设计产品、想象未来或探索幻想世界。
44910编辑于 2024-02-26 - 来自专栏AIGC新知
OpenAI Sora发布：视频AI界的top1
虽然视频中的场景在现实世界中并不存在，但这个引擎还是按照我们所期望的物理规则正确地实现了场景模拟。 Sora 能够生成具有多个角色、特定类型的运动以及主题和背景的准确细节的复杂场景。该模型不仅了解用户在提示中要求的内容，还了解这些东西在物理世界中的存在方式。 难以准确模拟复杂场景的物理特性，无法理解因果关系的具体实例，可能混淆提示的空间细节，难以精确描述随时间推移发生的事件，如遵循特定的相机轨迹。 连接视频 可以使用 Sora 在两个输入视频之间逐渐插值，在具有完全不同主题和场景构图的视频之间创建无缝过渡。 图像生成功能 Sora 还能够生成图像。 Sora 可以生成具有动态相机运动的视频。随着摄像机的移动和旋转，人物和场景元素在三维空间中始终如一地移动。 远距离相干性和物体持久性【虚幻引擎建模？】。
67010编辑于 2024-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号